When Evidence is Sparse: Weakly Supervised Early Failure Alerting in Dialogs and LLM-Agent Trajectories
证据稀疏场景下的弱监督早期故障告警
🧭 对话/Agent轨迹早期故障告警 ★ 深度解读
Intuit AI Research · Princeton University
利用MIL从轨迹级标签中学习稀疏故障证据，结合偏好条件触发策略实现推理时可控的准确-提前性权衡
📌 工作参考价值（4 点）
- 利用 MIL 从轨迹级标签中自动挖掘稀疏的故障证据轮次，无需人工标注 turn 级标签，直接改善前缀故障预测的准确性，适合客服对话和 Agent 执行监控。
- 融合“naive 前缀预测”与基于 MIL 的稀疏证据信号：前者反应快但噪声大，后者延迟但准确，简单 MLP 融合即可显著提升准确-提前性 Pareto 前沿，该模式可直接推广到需早期决策的序列监控场景。
- α-STOP 策略让单一模型通过改变标量 α 在推理时覆盖整个准确-提前性权衡曲线，无需为每个运营点重新训练；部署后可根据业务需要（如高精准告警 vs. 尽早干预）动态调节，大幅降低运维成本。
- 模块化设计（故障预测器 + 触发策略分离）优于端到端 RL，预测器提供可靠风险信号，触发策略专注决策偏好，且预测器升级不影响触发策略，工程上更灵活易维护。